Lúc ở Quốc Tử Giám, thường có một người đến chơi, không nói tên họ, chỉ xưng là Bình Sơn Thi Khách, xướng họa thi văn với Vũ Duy Thanh rất là tương đắc. Một hôm vào khoảng tháng hai, Bình Sơn đến nhà, ông đi vắng, khách để lại mấy chữ:

Nhất giáp nhất danh kim bảng quýTứ nguyệt tứ nhật ngọc lâu thành

Từ đấy không thấy Bình Sơn trở lại. Đến ngày mồng 4 tháng 4 năm ấy ông từ trần. Bấy giờ mới hiểu câu Tứ nguyệt tứ nhật ngọc lâu thành.

Sau khi từ trần, giám thần dâng sớ lên, vua Tự Đức châu phê: Khả mẫn gia tuất tiền bách (khá thương gia ân cho 100 quan tiền), và cho đưa quan tài về quê ở Ninh Bình, đi qua tỉnh nào, các học quan tỉnh ấy đều phải phúng điếu. Các quan ở Kinh có câu đối viếng:

Cửu nguyên di hận Trà Sơn úcThiên lý quy hồn Thuý Lĩnh phong

(Chín suối còn di hận ở vùng núi Trà Sơn - Du hồn về núi Thúy Sơn, đường xa nghìn dặm).

Câu đối của bạn đồng hương Vũ Phạm Khải:

Đông canh đồng thuận, đồng tính thị châu lư, vãn bối suy quân tiêu vật vọngThử cảnh thử tình, thử giang sơn bi kiệt, tích hiền tiên ngã ký sầu ngâm

Cùng tuổi, cùng học, cùng họ lại cùng tỉnh, những học trò lớp sau đều tôn trọng ông là bực tiêu biểu: ông Khải chỉ đỗ cử nhân nên mong học trò lớp sau, đỗ được cao như ông bảng - Tình ấy, cảnh ấy, núi sông ấy và bia đá ấy, người hiền xưa đã trước ta, gửi tiếng sầu ngâm: người xưa, chỉ Trương Hán Siêu, vì Trương làm bài văn bia Linh Tế Tháp, ông Bảng có bài Bình Linh Tế Tháp, việc văn chương có can hệ đến mối sầu cảm.

Cảm kích trước tấm lòng trung quân ái quốc, yêu nước thương dân cũng như sự đa tài của Vũ Duy Thanh, Phạm Thanh đã làm đôi câu đối điếu người cùng tên và cũng đỗ Bảng nhãn trong cùng năm với mình rằng:

Nhân bảo đương vi thiên hạ tíchHoạn tình năng động cửu trùng thiên

Hai câu đó có nghĩa là: Người quý công tích còn trong thiên hạ - Quan ân rung động tới tận cửu trùng[10].

Ca ngợi tài năng và khí tiết của một người học rộng tài cao, các nho sĩ Ninh Bình đã làm một bài thơ tưởng niệm Vũ Duy Thanh như sau:[11]

Bảng vàng bia đá bậc tam khôi,Giấc mộng phù sinh luống ngậm ngùi.Nền Hạnh mây mờ sao điểm tối,Rừng Quỳnh nắng rọi đoá mai rơi.Vài tờ chương sớ nghìn thu để,Hai chữ châu phê chín bệ soi.Trên chốn đô môn ngày vĩnh quyết,Tình này cảnh ấy thuở nào nguôi.